DuTri：双分支建模与三阶分解的多模态多场景推荐
🧭 多场景多模态推荐 · 双分支三阶分解 ★ 深度解读
深圳大学 · 深圳技术大学
提出 DuTri 双分支框架，用 CP 分解和残差量化学习三元协同偏好，指导多模态自适应融合，在多场景推荐上取得最优。
📌 工作参考价值（4 点）
- 多场景多模态推荐不要简单把多模态特征拼进现有 MSR 骨干，可尝试双分支：协同分支专注 ID 交互建模，多模态分支处理内容语义，通过偏好表示桥接，避免参数共享架构在多模态下退化。
- 用 CP 分解建模用户-场景-物品三维交互，得到用户、场景、物品因子，作为跨场景共享和场景特异的表示，可替代简单的共享嵌入，迁移到多场景 CTR 模型。
- 残差量化（RQ）将连续偏好因子离散化，提升表示稳定性和泛化，类似于 Semantic ID 的思路，可用于工业推荐中对用户/场景/物品表示进行量化压缩。
- 对比学习对齐协同物品表示与多模态表示，使协同信号和内容信号互相增强，可借鉴到多模态推荐或图文相关性建模中，提升融合效果。
通过倒置非对称融合缓解多模态学习中的强模态坍缩
🧭 多模态融合中强模态坍缩抑制
Imperial College London · California Polytechnic State University San Luis Obispo
提出 Inverted Asymmetric Fusion，保留强模态通路并以弱模态蒸馏锚定融合，避免强模态退化
📌 工作参考价值（4 点）
- 多模态推荐/搜索中常出现文本、图像、行为等信号不均衡，直接对称融合可能损害主模态表征。可设计非对称融合结构，让强模态（如商品标题、用户历史）保持自身通路，弱模态仅作为上下文信息辅助，而不是强制相互注意力。
- 对图像、视频等弱模态先做模态感知知识蒸馏，使其在融合前尽可能逼近强模态或教师模型的语义空间，能减少融合时的噪声干扰，提高整体效果。
- 引入路径隔离评估：在融合前后分别测试各单模态内部准确率，快速定位是否发生融合退化，这在推荐模型迭代中可作为调试工具，避免“融合后反而变差”的隐性故障。
- 该思路可用于电商多模态排序、详情页理解等场景：文本描述通常是强模态，图片/视频是弱模态，可让视频/图片特征以文本特征为锚定，而非让文本特征被图像注意机制拉偏。
SmartMage：面向3D场景理解的动态模态编排
🧭 动态模态路由与专家混合 · 多模态推理
Zhejiang University · Stanford University
提出动态模态路由与模态感知专家混合，让MLLM按查询语义自适应选择模态，在3D场景理解中大幅超越固定模态组合
📌 工作参考价值（4 点）
- 电商推荐中不同query依赖不同模态（颜色→图像，尺寸→文本），可借鉴SMART模块动态选择模态特征，降低冗余计算与噪声，提升推理效率。
- 多模态推荐模型常固定拼接所有模态，改用基于查询语义的自适应模态选择，可避免无关模态干扰，类似特征门控机制。
- 为购物助手等Agent设计多模态感知时，可引入语义‑模态对齐路由，根据用户意图选择性启用传感器数据，节省资源。
- MAGE的模态先验引导专家专业化，可迁移到多模态推荐MoE架构中，为不同模态组合分配专家，实现分布式高效推理。
融合前，先问保留什么：多模态信号的上下文校准
🧭 多模态融合 · 预融合校准模块
Adelaide University · Shandong University
在融合前通过跨模态比较生成实例级与维度级校准信号，抑制干扰、保留弱但有用证据，提升多模态融合鲁棒性。
📌 工作参考价值（4 点）
- 在电商多模态推荐（商品图、文、视频）中，可借鉴此预融合校准模块，动态评估各模态当前样本的可靠性，抑制噪声模态（如低质图片或误导性描述），提升推荐特征鲁棒性。
- 模块为即插即用设计，能与现有融合结构（如注意力、门控）无缝集成，无需改变下游预测头，便于在已有推荐模型上快速试验和迭代。
- 跨模态交互方式（summary-level 比较 + 实例/维度调制）为处理用户评论中图文不一致、恶意文本等场景提供了简洁有效的校准思路。
- 该方法在多种模态缺失和噪声注入下表现稳定，可推广到用户行为序列、社交关系等多源信息的融合预校准，增强推荐系统对缺失或低质量数据的容错性。
LoMo：局部模态替换促进视觉-语言深度融合
🧭 多模态表征对齐与数据增广
Fudan University · Shanghai Innovation Institute · Shanghai Jiao Tong University · University of Science and Technology of China · JD.COM
通过将文本片段渲染为图像来构造交错多模态数据，迫使VLM学习跨模态表征不变性，显著缓解“载体敏感”问题。
📌 工作参考价值（4 点）
- 弱图文对齐场景的增效思路：电商商品信息中图文往往分离，LoMo 的“文本→图像再重写”范式可直接用于商品描述增强，例如将规格参数渲染为图片，迫使多模态模型更关注视觉细节，提升详情页图文一致性校验。
- 低成本跨模态对齐数据合成：无需额外标注，仅需将现有纯文本 Splits 中的关键词（如属性、尺寸）动态渲染成图像，就能构造出强对齐的多模态序列，适合推荐系统里的多模态冷启动或属性抽取任务。
- 模型架构无关的轻量增强：LoMo 仅作用于数据端，不修改 VLM 架构，可以快速插入到现有 Agent 的视觉推理链路（如商品图片问答、图文简历解析）作为 fine-tuning 阶段的简单增强，提升对同一语义在不同载体下的鲁棒性。
- 对 Deep 融合的启发：LoMo 通过“视觉载体与文本载体交替”施加表征不变性约束，这一思想可迁移到多模态推荐中，例如在序列建模中将物品图像与文本标题交替编码，迫使模型学习模态无关的物品表征，有望缓解模态缺失时的性能下降。